KLダイバージェンス(Kullback–Leibler divergence)
2つの確率分布の差異を測る尺度。
距離と表現されることもあるが、そもそも非対称なので数学的な意味での距離ではない
確率分布$ Pと$ Qの差異を考える
離散確率分布の場合
$ D_{KL}(P||Q)=\sum_i P(i)log\frac{P(i)}{Q(i)}
連続確率分布の場合
$ D_{KL}(P||Q)=\int^\infty_{-\infty}p(x)log\frac{p(x)}{q(x)}
hl.icon
エントロピーとの関係とかが書いてある